基于 Oracle RAC 实现双活方案的架构分析和实现难度分析
原题：基于 Oracle RAC 实现双活方案的分析
作者：赵海 架构师，先后就职于IBM、HP、城市商业银行。一直从事系统、存储、数据库等问题诊断、优化、解决方案等规划实施工作。现就职于农商银行信息科技部。主要负责数据中心基础架构规划设计及建设工作，尤其是数据库及存储的高可用及容灾架构规划及建设工作。目前在社区关注排行榜中排名第三位。
1.架构分析
1.1基于ASM冗余设计架构
图1.1基于ASM冗余设计实现的Oracle RAC
存储层实现SAN网络跨数据中心级联，使双数据中心能够实现整体SAN网络。
网络层实现二层打通，SCAN IP可以跨数据中心浮动。
应用层实现跨数据中心RAC，每一个数据中心分别有一个实例节点。
Oracle ASM存储层，数据磁盘组需要实现基于双数据中心存储卷的双镜像冗余策略，OCR仲裁磁盘组需要实现基于双数据中心存储卷以及第三方站点网络存储卷的三块儿磁盘高可用策略。
1.2基于存储集群实现的架构
图1.2基于存储集群实现的架构
存储层借助存储虚拟化产品实现双数据中心以及第三方仲裁站点组成的存储集群，使得存储可以提供给应用层分布式虚拟磁盘，最终让应用对存储层的逻辑映射没有任何感知。
网络层实现二层打通，SCAN IP可以跨数据中心浮动。
应用层实现跨数据中心RAC，每一个数据中心分别有一个实例节点。
Oracle ASM存储层，磁盘组不需要做任何特殊冗余配置，只需要将存储层提供的分布式虚拟磁盘看做是本地共享磁盘进行安装配置即可。
2.实现难度分析
2.1 架构复杂度
架构一的复杂度在于ASM层的设计。ORACLE RAC实例节点看到的共享盘是基于双中心存储实现的镜像策略，所有IO的读写分发是由ASM本身的冗余算法规则来决定的，DBA不仅仅要根据磁盘情况来设计合理的Failure Group，而且需要结合第三方站点的网络存储卷来合理设计仲裁磁盘组的分配。更重要的是需要结合实际的网络环境指标（延时、稳定性等）进行复杂的性能、稳定性、灾难测试等来调整ASM的一些IO参数。
架构一的复杂度在于整体架构的复杂度。例如仲裁一致性问题，是指双中心之间的存储集群和数据库RAC集群的仲裁结果是否能保证一致性。存储集群是靠仲裁站点分别于两个站点之间的网络连通性来判定站点故障。而数据库集群是通过以太网心跳和OCR仲裁盘来做数据库仲裁。而数据库的OCR仲裁盘是存储集群提供的分布式共享卷。二者仲裁时的一致性如何保障是非常重要的一个问题。假设在发生站点级别故障时，数据库集群首先根据网络故障触发仲裁，判定站点A的节点存活。而存储随后再发生存储集群的仲裁，这个时候如果根据仲裁站点判定的结果恰恰仲裁委站点B的节点存活。那么数据库集群整体就会宕掉，这对于业务来讲就是一个灾难。
2.2 落地成本
从实现的基本条件来看，两种架构的实现都会依赖双中心的二层打通。双中心的波分设备、以太转换设备、光纤链路租用就是必不可少的条件了。包括其购置成本和日后的运维成本等。这是非常可观的一项成本预算。
从存储层的架构组成来看，架构一不需要存储层增加任何其他设备成本及运维成本。但是架构二需要依赖存储层的虚拟化网关产品来实现存储虚拟化集群，无疑这需要增加相应的购置成本和相应的运维成本。尤其注意存储集群产品是否有容量许可成本问题。
从第三点的仲裁站点成本来看，两种方案都需要第三点的仲裁，区别在于架构一需要的是NAS存储，而架构二需要的基于以太网的计算资源来配置仲裁虚拟机。投入成本没有什么差异。
从Oracle运维成本来看，架构一对DBA的要求非常苛刻，需要DBA不仅仅能够深知其中的原理，而且需要对性能的分析有较深的造诣，从而保障在复杂的双中心联动环境下各种复杂情况下的性能及稳定性变动有快速和准确的判断和处理能力。架构二对DBA的要求没有特殊的苛刻要求但是需要增加对存储集群的专业维护成本。
2.3 关键问题及解决方案
2.3.1针对架构二的仲裁一致性问题
在这个问题上，风险发生的引发点有两个：数据库和集群的仲裁触发以及仲裁过程的时间顺序发生紊乱；资源被1:1割裂之后的默认仲裁策略不一致。也就是说，只要控制这两个引发点，那么这个问题从理论上也就避免了。对于第一个引发点来讲，实际上存储集群的默认仲裁触发时间会是15秒左右，而数据库仲裁触发的控制参数由misscount这个参数来决定，所以只要我们将misscount这个参数调整到45秒之后，也就是说理论上绝对保障存储集群仲裁在前，而数据库仲裁在后，那么第一个引发点就没有了。对于第二个引发点来讲，假设两站点节点资源对等，仲裁选票同样对等的情况下，存储集群会有一个默认的Winner策略，同样在这种情况下数据库集群也有一个默认仲裁策略：选择实例号小的集群存活。只要我们保证这两个策略结果的一致性，那么第二个引发点也就不存在了。
2.3.2链路稳定状况不可控
这个问题是两种架构都面临的问题。主要表现为两个方面：链路稳定状况不可控；延时指标不可控。因为双中心之间的链路是通过租用运营商的裸光纤链路实现的，那么这其中会经历很多的中继设备及节点。无论从管理上还是从技术把控上都是金融企业自身不可控制的因素。假设双中心间链路延时指标不稳定，也就是说数据库节点之间私网传输的延时会经常出现长延时情况，这势必导致这种延时会加倍放大到数据库节点之间的读写热点竞争上。由于数据库集群之间的数据传输量非常大（缓存、锁、心跳等），在读写热点相对突出的业务上，轻则导致数据库读写性能灾难，重则导致数据库节点直接处于僵死状态。另外，链路的不稳定会导致存储链路频繁切换，甚至会导致集群仲裁频繁发生，这对于业务连续性更是一个灾难。
对于这个问题来讲，就目前金融行业的传统数据架构来讲，并没有一个十足的解决方案。我们只能通过以下措施来减少这种问题带给我们的风险。
一、业务层面需要进行拆分重组：按照IO特点进行合理拆分，将读写业务尽量分布于不同节点上，减少节点间的锁竞争。按照业务将数据库表进行分区，避免在数据库写上的数据热点块儿。例如，对于银行核心系统来讲，尤其是要将批量业务和联机业务区分对待，批量业务的热点以及数据量非常之巨大，所以一定要将批量业务的数据库读写放在单边实现。对于联机业务来讲可以根据热点状况以及链路质量评测结果可以尝试实现双中心同时读写，但是本文建议对于这种重量级的业务还是要从业务层尽量实现应用上的读写分离，或者在应用层双中心部署而在数据库层将数据引到单边来做。
二、双中心间通讯的整体控制，具体包括对通讯带宽的优先级管理、对通讯的实时监控和控制、对跨中心数据传输的严格策略把控。例如：优先保障存储和数据库通讯的优先级和带宽，严格的规则算法和优先级限定VMOTION、DRS等行为的跨中心随意性，从LTM负载分发上尽可能保障正常情况下纵向IO的单中心效率策略，故障情况下保障跨中心访问的科学性。DWDM上设置双中心间通讯带宽的逻辑隔离以及实时可控。
2.3.3存储网络故障泛滥
这是两种架构都会面临的问题，只是架构一可能性相对高一些。
如果我们把两个中心的SAN环境整合为一张大网，物理上没有任何隔离的大网，那么可能会因为局部的存储网络故障而波及到整个存储网络。尽管我们通过SAN交换机上的逻辑隔离能够解决大部分的安全问题，但是这样的风险毕竟还是存在的。
所以我们可以通过对数据中心内部SAN环境前后物理隔离，双中心之间靠专一SAN交换机实现存储后端网络的联通来解决该问题。这样的话，单中心内前段SAN环境故障不会波及存储后端，更不会波及整个基础架构的存储网络。
2.3.4串联深度带来的性能问题
这个问题是针对架构二的问题。
架构深度越深，那么IO的性能就会越差，因为IO每经过一层设备就会有一定的延时消耗，纵向深度越深经历的设备越多，那么IO的延时也就越高。如果我们的架构在纵向上越复杂，那么这个问题应该说从本质上是无法消除的，只能通过一定的方法来减少和优化。
从存储层来看，一般存储侧在对物理卷进行虚拟化的时候都会有几种策略。为了增加管理的灵活性及扩展性，虚拟化的时候可能会经过多层映射。另外一种策略是为了提高性能，在虚拟化的时候尽量较少映射。我们在规划存储卷的时候，尽量采用后一种策略。例如VPLEX就会有（1:1map、Raid等策略），我们可以选择1:1map这种策略，仅仅利用它的镜像聚合，而舍弃它的灵活伸缩特性。
基于Oracle RAC/ADG/OGG等实现的数据库双活方案设计交流
对于 Oracle 数据库技术，相信大家都不陌生。
为了保障数据库的高可用性，Oracle RAC 技术已经在各行各业进行了广泛的应用，Oracle ADG/OGG 技术在异地容灾方面也有很成熟的应用，相关的知识经验以及分享也比较丰富。
近些年来，随着各行各业对IT建设的容灾标准的高标准要求，越来越多的行业在探讨将 Oracle RAC 技术应用到近距离的同城容灾场合当中，也有部分行业进行了大胆的尝试和落地。但是由于工程的规模比较大，实施复杂度比较高，大部分的企业还缺乏相关的建设经验和知识积累。在这类项目规划设计过程中，我们应该如何选择我们的架构组成？如何进行相关设备的选型？如何将技术的细节落实到架构规划设计过程当中等等问题都是企业IT架构规划设计者非常关注的问题。
基于ORACLE RAC技术实现的双活架构，根据存储设计的不同方式大体上会有两种基本架构，一种是基于ASM实现存储层的跨中心冗余设计，另外一种是借助成熟的存储虚拟化产品实现存储层自身的跨中心冗余设计。但是在每一种架构框架之上，其中有很多细节问题值得我们去探讨和分享。
本次活动以此为技术背景，从以下几个方面展开讨论。希望大家能够慷慨解囊、分享经验，我们一起来成长。
1. 基于Oracle RAC 的双活方案，如何选择节点组成模式？（1+1,2+1......）
2. 基于ASM冗余设计和存储层集群的两种数据库双活架构，各有什么样的优缺点？我们应该如何根据我们的自身情况去选择？
3. 基于ASM冗余设计的架构，仲裁磁盘组应该如何去规划？
4. 基于ASM冗余设计的架构，数据及快速恢复磁盘组应该如何去规划？
5. 基于存储集群架构设计的数据库双活架构，我们应该如何去选择存储层的架构和产品？
6. Oracle ADG以及OGG技术在数据库双活方案基础之上能起到什么样的辅助作用？应该作为什么样的角色应用到什么样的场合？
7. 在 Oracle RAC 双活方案落地之前，我们应该做那些测试？应该模拟那些灾难故障？
点击阅读原文，现在即可参加，本文作者将与你共同交流
长按二维码关注公众号